The factor structure of the Motivated Strategies for Learning Questionnaire (MSLQ): new methodological approaches and evidence.

BACKGROUND: The area of self-regulated learning integrates the fields of metacognition and self-regulation and assumes that the student is an active processor of information capable of self-regulating his learning by putting together the cognitive, metacognitive, and motivational components. The Motivated Strategies for Learning Questionnaire (MSLQ) is a benchmark for the measurement of self-regulated learning. However, the field of study does not show adequate evidence of its structural validity. The vast majority of studies involving this question present serious methodological mistakes, compromising the evidence of validity. OBJECTIVE: Our study investigates the structural validity of MSLQ including all 15 scales and corrects relevant mistakes in the previous studies. METHOD: We tested different models through item confirmatory factor analysis in a convenience sample of 670 college students (M = 22.8 years, SD = 5.2) from a public Brazilian university in the technological area. The models with the ML, MLR, MLM and WLMSV estimators. RESULTS: Only WLSMV produced models with acceptable fit. The final model has a bi-factor structure with a general factor (self-regulated learning), 15 components as first-order factors, and four broad components as second-order factors. Twelve first-order components, all second-order components and the general factor had acceptable reliability. The components' elaboration, intrinsic goal orientation and metacognitive self-regulation, did not show acceptable reliability, in terms of McDonald's omega. CONCLUSION: Considering the worldwide importance of the MSLQ, we do not recommend the use of the measurement of these components for clinical practice and psychoeducational diagnosis until new studies show that this low reliability only occurs in our sample. Our study shows new evidence, correcting many previous methodological mistakes and producing initial evidence favorable to the factor structure of the MSLQ.

The factor structure of the Motivated Strategies for Learning Questionnaire (MSLQ): new methodological approaches and evidence

Abstract Background The area of self-regulated learning integrates the fields of metacognition and self-regulation and assumes that the student is an active processor of information capable of self-regulating his learning by putting together the cognitive, metacognitive, and motivational components. The Motivated Strategies for Learning Questionnaire (MSLQ) is a benchmark for the measurement of self-regulated learning. However, the field of study does not show adequate evidence of its structural validity. The vast majority of studies involving this question present serious methodological mistakes, compromising the evidence of validity. Objective Our study investigates the structural validity of MSLQ including all 15 scales and corrects relevant mistakes in the previous studies. Method We tested different models through item confirmatory factor analysis in a convenience sample of 670 college students (M = 22.8 years, SD = 5.2) from a public Brazilian university in the technological area. The models with the ML, MLR, MLM and WLMSV estimators. Results Only WLSMV produced models with acceptable fit. The final model has a bi-factor structure with a general factor (self-regulated learning), 15 components as first-order factors, and four broad components as second-order factors. Twelve first-order components, all second-order components and the general factor had acceptable reliability. The components' elaboration, intrinsic goal orientation and metacognitive self-regulation, did not show acceptable reliability, in terms of McDonald's omega. Conclusion Considering the worldwide importance of the MSLQ, we do not recommend the use of the measurement of these components for clinical practice and psychoeducational diagnosis until new studies show that this low reliability only occurs in our sample. Our study shows new evidence, correcting many previous methodological mistakes and producing initial evidence favorable to the factor structure of the MSLQ.

Testing the invariance of the metacognitive monitoring test / Investigando a invariância do teste de monitoramento metacognitivo / Investigando la invarianza de la prueba de monitoreo metacognitivo

Metacognition is predominantly measured by the self-report and think-aloud methods. This is problematic since they produce considerable both respondent and confirmatory biases, which implies damage to the measurement. The Metacognitive Monitoring Test (MMT) was created to evaluate metacognition through performance and eliminate the aforementioned biases. There is evidence of MMT convergent, divergent, structural, predictive and incremental validity. This article expands the validity studies about the MMT by analyzing the configural, metric and scalar invariance of MMT across sex, nationality, and educational level variables. The sample is composed of Brazilian and Honduran subjects, as well as 6st to 12st grades and higher education students. Results indicate configural, metric and scalar invariance for the sex variable, as well as configural invariance and metric and scalar partial invariance for nationality and educational level. It is concluded that the MMT allows comparing means of the latent variable measured in the analyzed groups. (AU)

Há uma hegemonia dos métodos de autorrelato e thinkaloud para avaliar metacognição. Isso é problemático, pois eles geram substanciais vieses do respondente e confirmatório, trazendo prejuízo à medida. O Teste de Monitoramento Metacognitivo (TMC) foi criado para avaliar a metacognição mediante o desempenho e eliminar os vieses supramencionados. Há evidências de validade convergente, divergente, estrutural, preditiva e incremental do TMC. Este artigo amplia os estudos de validade e analisa a invariância configural, métrica e escalar do TMC, em relação ao sexo, nacionalidade, e nível educacional. A amostra do estudo é composta por brasileiros e hondurenhos, e estudantes da 6ª à 12ª séries da educação básicae ensino superior. Os resultados indicam invariância configural, métrica e escalar para a variável sexo, assim como invariância configural e invariância parcial métrica e escalar para nacionalidade e nível educacional. Conclui-se que o TMC permite comparar médias da variável latente mensurada nos grupos analisados. (AU)

Hay un predominio de métodos de auto-reporte e think aloud para evaluar la metacognición. Esto es problemático, ya que dichos métodos producen un considerable sesgo de respuesta y confirmación, lo que implica un perjuicio en la medición. La Prueba de Monitoreo Metacognitivo (PMM) fue diseñada para evaluar la metacognición por medio del desempeño y eliminar los sesgos mencionados anteriormente. Hay evidencia de validez convergente, divergente, estructural, predictiva e incremental de la PMM. Este artículo amplía los estudios de validez sobre la PMM, analizando la invarianza configural, métrica y escalar de la PMM con respecto a las variables sexo, nacionalidad y nivel educativo. La muestra del estudio está formada por brasileños y hondureños, y estudiantes de 6º a 12º grado de educación básica y educación superior. Los resultados indican invarianza configural, métrica y escalar para la variable sexo así como invarianza configural e invarianza parcial escalar y métrica para nacionalidad y nivel educativo. Se concluye que la PMM permite comparar medias de la variable latente medida en los grupos analizados. (AU)

Evidências desfavoráveis ao postulado de cargas fatoriais simples do Exame Nacional do Ensino Médio (ENEM) / Evidence contrary to the assumption of simple Factor loadings of the National High School Education Exam (ENEM) / Evidencias desfavorables al postulado de cargas factoriales Simples del Examen Nacional de Enseñanza Secundaria (ENEM)

O Exame Nacional do Ensino Médio (ENEM) possui um modelo de medida restrito, caracterizado pelo postulado de que os itens marcadores de cada domínio se vinculam exclusivamente ao seus domínios-alvo. Estudos pregressos sugerem, por meio de evidências indiretas, que esse modelo não seria válido. No entanto, esse postulado ainda não foi diretamente avaliado. Neste estudo, investiga-se esse pressuposto por meio de análises fatoriais dos itens do ENEM de 2011. Dois modelos foram testados. O primeiro, chamado de estrutura simples de Thurstone, representa o modelo de medida do ENEM. O segundo, de cargas cruzadas, refuta esse modelo. O modelo das cargas cruzadas foi o único que apresentou bom ajuste aos dados de acordo com todos os índices empregados. As evidências encontradas são desfavoráveis ao postulado de cargas fatoriais simples do modelo de medida do ENEM, indicando problemas de validade e na qualidade dos escores produzidos. (AU)

The National High School Examination (ENEM) has a restricted measurement model characterized by the assumption that the marker items in each domain are exclusively linked to their target domain. Previous studies suggest, through indirect evidence, that this model may not be valid. However, this postulate has not yet been directly assessed. In this study, this assumption was investigated through factor analysis of the items of the ENEM 2011 edition. Two models were tested. The first, called Thurstone's simple structure, represents the measurement model of the ENEM. The second, of crossed loadings, refute this model. The crossed loadings model was the only one that presented a good fit to the data according to all the indices employed. The evidence found is unfavorable for the assumption of simple factor loadings of the measurement model of the ENEM, indicating issues of validity and in the quality of the scores produced. (AU)

El Examen Nacional de Enseñanza Secundaria (ENEM) tiene un modelo de medición restringido, caracterizado por el postulado de que los ítems marcadores en cada dominio están vinculados exclusivamente a su dominio objetivo. Estudios previos sugieren, a través de evidencia indirecta, que este modelo no sería válido. Sin embargo, este postulado aún no ha sido evaluado directamente. En este estudio se investiga este supuesto a través del análisis factorial de los ítems del ENEM 2011. Se probaron dos modelos. El primero, llamado estructura simple de Thurstone, representa el modelo de medición ENEM. El segundo, de cargas cruzadas, refuta este modelo. El modelo de carga cruzada fue el único que presentó un buen ajuste a los datos de acuerdo con todos los índices empleados. Las evidencias encontradas son desfavorables al supuesto de cargas factoriales simples del modelo de medición del ENEM, lo que indica problemas de validez y en la calidad de las puntuaciones producidas. (AU)

Construct Validation of a New Instrument to Measure Declarative Tactical Knowledge in Basketball.

Measuring basketball players' declarative tactical knowledge is relevant to the teaching and learning process. In this study we aimed to verify the construct validity and construct reliability of the Instrument for Measuring Declarative Tactical Knowledge in Basketball (IMDTK-Bb). We recruited 1,188 male basketball athletes aged 10-19 years old. We used confirmatory factor analysis with weighted least squares mean and variance estimator for construct validation and MacDonald´s omega for internal consistency. We established a final model with 17 scenes referring to the declarative tactical knowledge and type of action players used to solve game situations the scenes represented. The final model presented a good Comparative Fit Index (CFI = 1.000), Tucker-Lewis Index (TLI = 1.001) and Root Mean Square Error of Approximation (RMSEA = .000). The reliability index was .779. We conclude that the IMDTK-Bb has good construct validity and can be used in further research.

A longitudinal model for psychological distress in the COVID-19 crisis among brazilian graduate students / Um modelo longitudinal de sofrimento psicológico na crise da COVID-19 entre pós-graduandos brasileiros / Un modelo longitudinal de sufrimiento psicológico en la crisis del COVID-19 entre posgraduados brasileños

As most evidence for mental health impacts of the COVID-19 crisis is cross-sectional, the present study aimed to analyze the longitudinal development of psychological suffering among 619 Brazilian adults by assessing mental health outcomes and individual factors in two periods: a year before and a month after the break of the pandemic. As major findings, pandemic psychological suffering was directly explained by previous-year suffering, conscientiousness, and pandemic perceived stress, and correlated with pandemic suicidal ideation. Pandemic perceived stress correlated with pandemic psychological distress, and was explained by previous-year suffering, neuroticism, and conscientiousness, as well as by pandemic life satisfaction and perceived pandemic impact. Finally, pandemic suicidal ideation variance was explained by prior ideation and pandemic life satisfaction. These findings are in line with current models of mental health and highlight the importance of integrating both more stable individual factors and more transient variables towards an explanation for mental health outcomes

Evidências dos impactos da crise da COVID-19 sobre a saúde-mental são em sua maioria transversais. Portanto, o presente estudo propôs-se a analisar o desenvolvimento longitudinal do sofrimento psicológico de 619 adultos brasileiros, avaliando fatores individuais e desfechos de saúde-mental em dois tempos: um ano antes e um mês após a deflagração da pandemia. O nível de sofrimento um mês após o início da pandemia foi explicado pelo sofrimento e conscienciosidade prévios e por estresse percebido na pandemia, correlacionando-se com ideação suicida pandêmica. Estresse percebido na pandemia foi explicado por neuroticismo, conscienciosidade e sofrimento anteriores, bem como por satisfação com a vida e impacto percebido na pandemia. Por fim, ideação suicida pandêmica foi explicada por ideação prévia e satisfação com a vida na pandemia. Esses achados corroboram modelos atuais de saúde-mental e ressaltam a importância de se integrar tanto fatores individuais estáveis quanto variáveis transientes à explicação de desfechos de saúde-mental

Evidencia de los impactos de la crisis del COVID-19 en la salud-mental es mayoritariamente transversal. Así, el presente estudio tuvo como objetivo analizar el desarrollo longitudinal del sufrimiento psicológico en 619 adultos brasileños, evaluando factores individuales y de salud-mental en dos períodos: un año antes y un mes después del brote de la pandemia. Sufrimiento psicológico pandémico se explica por sufrimiento y conscienciosidade anteriores y por estrés pandémico percibido, correlacionando con ideación suicida pandémica. Estrés percibido en la pandemia se correlacionó con sufrimiento psicológico pandémico y se explicó por neuroticismo, conscienciosidade y sufrimientos previos, así como por satisfacción con la vida y el impacto percibido pandémicos. Finalmente, ideación suicida pandémica se explica por ideación previa y satisfacción con la vida en la pandemia. Estos resultados corroboran modelos actuales de salud-mental y subrayan la importancia de integrar tanto factores individuales estables como variables transitorias en la explicación de resultados de salud-mental

Prediction of reading and writing in elementary education through early childhood education / Predição de leitura e escrita no ensino fundamental por meio da educação infantil / Predicción de la lectura y escritura en los primeros años de la educación infantil

The study investigated the predictive role of executive functions, language, initial reading and writing abilities, teacher's perception of the students' difficulties and family characteristics, evaluated in Early Childhood Education (ECE) (Jardim I and Jardim II), in relation to reading and writing performance in the first year of Elementary Education. A total of 71 children were monitored in a longitudinal manner from ECE up to the first year, and evaluated in Oral Language (OL), Executive Functions (EF), initial Reading and Writing skills in ECE and, in the first year, evaluated by means of Reading and Writing tests. Parents provided information on socioeconomic status (SES) and teachers indicated children with difficulties. After the data imputation process, regression tree analysis showed that OL skills and initials skills of reading and writing in ECE explained a mean of 43% of the reading variability in the first year. For writing, the models also included performances in EF, income, father's age and indication of difficulty by the teacher in ECE, explaining a mean of 78% of the variability in writing in the first year. The results allowed identifying abilities and variables that can be considered precursors of subsequent performances in Elementary Education, providing guidance for actions of early identification and intervention...(AU)

O estudo investigou o papel preditivo de funções executivas, a linguagem, as habilidades iniciais de leitura e escrita, a percepção do professor e as características familiares sobre as dificuldades de seus alunos, avaliadas na Educação Infantil (EI) (Jardim I e Jardim II), em relação ao desempenho em leitura e escrita no primeiro ano do Ensino Fundamental. Participaram 71 crianças acompanhadas longitudinalmente no curso da EI em níveis anteriores ao 1º ano, avaliadas em Linguagem Oral (LO), Funções Executivas (FE), habilidades iniciais de Leitura e de Escrita na EI e, no 1º ano, em testes de Leitura e de Escrita. Pais proveram informações sobre nível socioeconômico e professores indicaram crianças com dificuldades. Após processo de imputação de dados, análise de regressão em árvore evidenciou que habilidades de LO e iniciais de leitura e escrita na EI explicaram uma média de 43% da variabilidade em leitura no 1º ano. Para escrita, os modelos incluíram ainda desempenhos em FE, renda, idade do pai e indicação de dificuldade pelo professor na EI, explicando média de 78% da variabilidade em escrita no 1º ano. Os resultados permitiram identificar habilidades e variáveis que podem ser consideradas precursoras para desempenhos posteriores no Ensino Fundamental, podendo informar ações de identificação e intervenção precoces...(AU)

El estudio investigó el papel predictivo de funciones ejecutivas: lenguaje, habilidades iniciales de lectura y escritura, percepción del profesor y características familiares sobre las dificultades de sus alumnos, evaluadas en la Educación Infantil (Jardim I y Jardim II), en relación al desempeño en la lectura y escritura en el primer año de la primaria. Participaron 71 niños acompañados de manera longitudinal desde la Educación Infantil (EI) hasta el 1.º año, quienes fueron evaluados en Lengua Oral (LO), Funciones Ejecutivas (FE), habilidades iniciales de Lectura y de Escritura en la EI y, en el 1.º año los evaluaron en los exámenes de lectura y escritura. Los padres proporcionaron información sobre el nivel socioeconómico, y los profesores indicaron a los niños con dificultades. Después del proceso de imputación de datos, el análisis de regresión en árbol evidenció que las habilidades de LO y de lectura y escritura iniciales en la EI explicaron un promedio del 43% de la variabilidad en lectura en el primer año. Para la escritura, los modelos incluyeron los desempeños en la EI, renta, edad del padre e indicación de dificultad por el profesor en la EI, explicando la media del 78% de la variabilidad en escritura en el primer año. Los resultados permitieron identificar habilidades y variables que pueden ser consideradas precursoras para los desempeños posteriores en la primaria, pudiendo informar acciones de identificación e intervención precoces...(AU)

Comparing the predictive power of the CART and CTREE algorithms / Comparando o poder preditivo dos Algoritmos CART e CTREE / Comparando el poder predictivo de los algoritmos CART y CTREE

The CART algorithm has been extensively applied in predictive studies, however, researchers argue that CART produces variable selection bias. This bias is reflected in the preference of CART in selecting predictors with large numbers of cutpoints. Considering this problem, this article compares the CART algorithm to an unbiased algorithm (CTREE), in relation to their predictive power. Both algorithms were applied to the 2011 National Exam of High School Education, which includes many categorical predictors with a large number of categories, which could produce a variable selection bias. A CTREE tree and a CART tree were generated, both with 16 leaves, from a predictive model with 53 predictors and the students' writing essay achievement as the outcome. The CART algorithm yielded a tree with a better outcome prediction. This result suggests that for large data sets, called big data, the CART algorithm might give better results than the CTREE algorithm.(AU)

O algoritmo CART tem sido aplicado de forma extensiva em estudos preditivos. Porém, pesquisadores argumentam que o CART apresenta sério viés seletivo. Esse viés aparece na preferência do CART pelos preditores com grande número de categorias. Este artigo considera esse problema e compara os algoritmos CART e CTREE, este considerado não enviesado, tomando como resultado seu poder preditivo. Os algoritmos foram aplicados no Exame Nacional do Ensino Médio de 2011, no qual estão incluídos vários preditores nominais e ordinais com muitas categorias, o que pode produzir um viés seletivo. Foram geradas uma árvore do CTREE e outra do CART, ambas com 16 folhas, provenientes de um modelo com 53 variáveis preditoras e a nota da redação, como desfecho. A árvore do algoritmo CART apresentou uma melhor predição. Para grandes bancos de dados, possivelmente o algoritmo CART é mais indicado do que o algoritmo CTREE.(AU)

El algoritmo CART es ampliamente utilizado en análisis predictivos. Sin embargo, los investigadores argumentan que el CART presenta un fuerte sesgo de selección. Este sesgo se refleja en el CART en la preferencia de seleccionar predictores con elevado número de categorías. Teniendo en cuenta este problema, el presente artículo compara el algoritmo CART y un algoritmo imparcial (CTREE) con relación a su poder predictivo. Ambos algoritmos se aplicaron en el Examen Nacional de la Enseñanza Secundaria de 2011, incluyendo predictores nominales y ordinales con diversas categorías, un escenario susceptible de producir el sesgo de selección de variables mencionado. Fueron generados un árbol CTREE y un árbol CART, ambos con 16 hojas, provenientes de un modelo predictivo con 53 variables y la nota del comentario de texto. El árbol del algoritmo CART presentó mejor predicción. Para grandes bases de datos el algoritmo CART puede proporcionar mejores resultados que el CTREE.(AU)

Measuring students learning approaches through achievement: structural validity of SLAT-Thinking / Medindo Abordagens de Aprendizagem pelo Desempenho: Validade Estrutural do TAP-Pensamento / Midiendo los Enfoques de Aprendizaje mediante el Desempeño: Validez Estructural del TAP-Pensamiento

The field of learning approach studies measures its constructs exclusively using self-report instruments. Recently created, SLAT-Thinking is the first test to measure performance approaches in a task that requires the respondent to identify the author's thinking in a given text. This paper presents the first evidence on the structural validity of SLAT-Thinking. A sample of 622 higher education students was randomly divided into training sample and test sample. Two models were tested in the training sample through confirmatory factor analysis of items, resulting in a final model. This model presented configural, metric, and scalar invariance when comparing the training and test sample. The results indicate that SLAT-Thinking reliably measures three levels of learning approaches: superficial, intermediate-deep, deep. The measurement of levels generates information not previously identified by the area, bringing conceptual implications for the construct.

O campo de estudos em abordagens de aprendizagem mensura exclusivamente seus construtos usando instrumentos de autorrelato. Criado recentemente, o TAP-Pensamento é o primeiro teste a mensurar abordagens via o desempenho em uma tarefa que demanda ao respondente identificar o pensamento do autor em determinado texto. O presente artigo apresenta as primeiras evidências sobre a validade estrutural do TAP-Pensamento. Uma amostra de 622 estudantes do ensino superior foi dividida aleatoriamente em amostra-treino e amostra-teste. Dois modelos foram testados na amostra-treino, via análise fatorial confirmatória de itens, resultando em um modelo final. Este modelo apresentou invariância configural, métrica, e escalar, ao se comparar a amostra treino e teste. Os resultados indicam que o TAP-Pensamento mensura de forma confiável três níveis de abordagens de aprendizagem: superficial, intermediária-profunda, profunda. A mensuração de níveis gera informações anteriormente não identificadas pela área, trazendo implicações conceituais para o construto.

El campo de estudios sobre los enfoques de aprendizaje mide sus constructos exclusivamente utilizando instrumentos de autorreporte. Recientemente creado, el TAP-Pensamiento es el primer test que mide los enfoques a través del desempeño de una tarea que demanda que la persona identifique el pensamiento del autor en un texto determinado. Este artículo presenta las primeras evidencias sobre la validez estructural del TAP-Pensamiento. Una muestra de 622 estudiantes de educación superior fue dividida aleatoriamente en muestra-entrenamiento y muestra-prueba. Dos modelos fueron testados en la muestra de entrenamiento a través del análisis factorial confirmatorio de ítems, lo que resultó en un modelo final. Este modelo presentó invarianza configural, métrica y escalar al comparar las muestras de entrenamiento y prueba. Los resultados indican que el TAP-Pensamiento mide de manera confiable tres niveles de enfoques de aprendizaje: superficial, intermedio-profundo y profundo. La medición por niveles genera información no identificada previamente por el área, trayendo implicaciones conceptuales para el constructo.

Predictors of Students' Mathematics Achievement in Secondary Education / Preditores do Desempenho em Matemática de Estudantes do Ensino Médio

Abstract Acknowledging the relevance of mathematics education, as well the evidence about predictors related to achievement in this domain, the present study performed a predictive analysis of students' mathematics achievement in the National Exam for Secondary Education, employing the Regression Tree Method and a model with 53 predictors. Results indicated that the model explained 29.97% of the mathematics achievement variance. Certain variables are related to worse achievement in mathematics: Students' family monthly income equal or smaller than 2 minimum wages, be female, have not attended Primary and Secondary Education in private schools, live in North, North East and Center West regions of Brazil, be highly motivated to perform the exam to obtain Secondary Education certificate or scholarship. The results obtained highlight the role of variables related to the individual, school and family as predictors of mathematics achievement.

Resumo Considerando a relevância da formação em matemática, assim como a evidência de preditores relacionados ao desempenho nesse domínio, realizou-se no presente estudo uma análise preditiva do desempenho matemático de inscritos no Exame Nacional do Ensino Médio de 2011, empregando a abordagem de Regressão em Árvore e um modelo com 53 preditores. Os resultados indicam que o modelo explicou 29,97% da variância do desempenho em matemática na amostra teste. Determinadas variáveis relacionam-se a um pior rendimento em matemática: renda familiar de até dois salários mínimos, sexo feminino, não ter cursado escolas particulares no ensino fundamental e no ensino médio, residir nas regiões Norte, Nordeste e Centro-Oeste, e estar altamente motivado para fazer o Exame para obter certificação ou bolsa de estudos. Os resultados obtidos salientam o papel de variáveis relacionadas ao indivíduo, à escola e à família como preditoras do desempenho em matemática.

Fidedignidade dos escores do Exame Nacional do Ensino Médio (Enem) / Reliability of scores from the National Exam of Upper Secondary Education (Enem) / Fiabilidad de los escores del Examen Nacional De La Secundaria Superior (Enem)

O Exame Nacional do Ensino Médio (Enem) gera uma pontuação para cada domínio que avalia: matemática, linguagens, ciências da natureza e ciências humanas. Reconhecendo a relevância do exame no acesso ao ensino superior e em outros aspectos da vida prática do estudante brasileiro, o presente estudo investiga a fidedignidade dos escores do Enem nos seus quatro domínios. Utilizou-se como amostra os escores dos estudantes que participaram da edição de 2011 do exame. As análises envolveram a estimação dos parâmetros de um modelo de quatro fatores correlacionados e de um modelo bifatorial por meio de análise fatorial confirmatória, além da estimação da fidedignidade composta e da fidedignidade omega dos quatro domínios e do fator geral de desempenho, no caso do modelo bifatorial. Utilizou-se como variáveis observáveis as 30 competências de cada domínio. Os resultados indicaram alta fidedignidade apenas para os escores provenientes do fator geral

The National Exam of Upper Secondary Education (ENEM) generates a score for each domains it assess: mathematics, languages, natural sciences, and humanities. Considering the relevance of the Exam in the access to higher education and in other practical aspects of Brazilian students' life, the present study investigates the reliability of the scores from the four domains. We used as a sample the scores of the students who participated in the 2011 edition of the Exam. The analyzes involved the estimation of the parameters of an oblique four-factor model and a bifactor model using confirmatory factor analysis, as well as the estimation of composite and omega reliability of the four domains and the general performance factor, in the case of the bifactor model. We used the 30 competences of each domain as observable variables. The results indicated high reliability only for the scores from the general factor

El Examen Nacional de la Secundaria Superior (ENEM) genera un puntaje para cada dominio que evalúa: matemática, lenguage, ciencias naturales y humanidades. Puesta la relevancia del Examen en el acceso a la educación superior y en otros aspectos prácticos de la vida de los estudiantes brasileños, el presente estudio investiga la fiabilidad de los puntajes de los cuatro dominios. Usamos como muestra los puntajes de los estudiantes que participaron en la edición 2011 del Examen. Los análisis incluyeron la estimación de los parámetros de un modelo oblicuo de cuatro factores y un modelo bifactorial utilizando análisis factorial confirmatorio, así como la estimación de la confiabilidad compuesta y omega de los cuatro dominios y el factor de desempeño general, en el caso del modelo bifactor. Usamos las 30 competencias de cada dominio como variables observables. Los resultados indicaron una alta fiabilidad solo para los puntajes del factor general

Validity Evidence of a Scale on Academic Expectations for Higher Education / Evidências de Validade de uma Escala sobre Expectativas Acadêmicas para Educação Superior / Evidencias de la Validez de una Escala sobre las Expectativas Académicas para la Educación Superior

Abstract By using structural equation modeling, this study investigated the dimensionality and invariance of the Brazilian scale of Academic Expectations for Higher Education - short version. The sample consisted of 6,913 students from a Brazilian public university. The results showed good adjustment of the proposed solution containing seven factors: Quality of Academic Education, Social and Academic Commitment, Expansion of Interpersonal Relationships, Opportunity for Student Exchange and Internationalization, Perspective of Professional Success, Concern with Self-Image, and Development of Transversal Skills. The results indicate that the scale is invariant with regard to different groups: students who entered university traditionally and those who entered through social programs for minorities, male and female students, and part-time, full-time or non-working students. The scale can support higher education institutions in the development of educational policies, programs and academic services.

Resumo Usando a modelagem por equações estruturais, este estudo investigou a dimensionalidade e invariância da Escala Brasileira de Expectativas Acadêmicas para Ingressantes na Educação Superior - versão abreviada. A amostra consistiu de 6.913 estudantes de uma universidade pública brasileira. Os resultados apontaram um bom ajustamento da solução proposta de sete fatores: Qualidade da Formação Acadêmica, Compromisso Social e Acadêmico, Ampliação das Relações Interpessoais, Oportunidade de Internacionalização e Intercâmbio, Perspectiva de Sucesso Profissional, Preocupação com Autoimagem e Desenvolvimento de Competências Transversais. Os resultados sugeriram que a escala é invariante considerando diferentes grupos: estudantes que ingressaram na universidade pelo sistema universal e os que ingressaram por meio de programas sociais para minorias, estudantes do sexo masculino e do feminino, e estudantes trabalhadores em tempo parcial e total ou não trabalhadores. A escala pode subsidiar instituições de educação superior no desenvolvimento de políticas educacionais, programas e serviços acadêmicos.

Resumen A partir del empleo de modelos de ecuaciones estructurales, este estudio investigó la dimensionalidad y la invariancia de la Escala Brasileña de Expectativas Académicas para Ingresantes en Educación Superior, versión abreviada. La muestra consistió en 6.913 estudiantes de una universidad pública brasileña. Los resultados apuntaron una buena adaptación de la solución propuesta con siete factores: Calidad de la Formación Académica, Compromiso Social y Académico, Expansión de las Relaciones Interpersonales, Oportunidad de Internacionalización e Intercambio, Perspectiva de Éxito Profesional, Preocupación por la Autoimagen y Desarrollo de Competencias Transversales. Esto indica que la escala es invariante considerando diferentes grupos: estudiantes que ingresaron a la universidad mediante el sistema universal y aquellos que ingresaron por medio de programas sociales para minorías, estudiantes del sexo masculino y femenino, y estudiantes que trabajan a tiempo parcial y a tiempo completo o que no trabajan. La escala puede servir de soporte a las instituciones de educación superior en el desarrollo de políticas educativas, programas y servicios académicos.

Bifactor invariance analysis of student conceptions of assessment inventory / Análise da invariância bifatorial do inventário de concepções de avaliação de estudantes / Análisis de la invarianza bifactorial del inventario de concepciones de evaluación de estudiantes

Student conceptions of the purposes of assessment are an important aspect of self-regulated learning. This study advances our understanding of the Student Conceptions of Assessment Inventory (SCoA) by examining the generalizability of the factorial structure of the SCoA using bifactor analysis and conducting cross-cultural invariance testing between Brazil and New Zealand. Eight different models were specified and evaluated, with the best model being adopted for invariance testing. This research adds to our understanding of the cross-cultural properties of the SCoA because the introduction of the bifactor model resulted in metric equivalence between countries, which had previously had only partial metric equivalence. Future studies should attempt to create more items around several SCoA constructs. (AU)

As concepções de estudantes dos propósitos da avaliação são um aspecto importante da aprendizagem autorregulada. Este estudo avança nossa compreensão do Inventário de Concepções de Avaliação de Estudantes (CAE), pelo exame da generalização da estrutura fatorial do CAE usando análise bifatorial e realizando testes de invariância transcultural entre o Brasil e a Nova Zelândia. Oito modelos diferentes foram especificados e avaliados, com o melhor modelo adotado para o teste de invariância. Esta pesquisa acrescenta à nossa compreensão das propriedades transculturais do CAE porque a introdução do modelo bifatorial resultou em equivalência métrica entre países, que anteriormente tinham apenas equivalência métrica parcial. Estudos futuros devem tentar criar mais itens em torno de vários construtos do CAE. (AU)

Las concepciones de los estudiantes sobre los própositos de evaluación, son un aspecto importante del aprendizaje autorregulado. Este estudio amplía nuestra comprensión sobre el Inventario de Concepciones de Evaluación de Estudiantes (CEE), mediante la investigación de la generalización de la estructura factorial del CEE utilizando análisis bifactorial y realizando tests de invariancia transcultural entre Brasil y Nueva Zelanda. Se especificaron y evaluaron ocho modelos diferentes,con el mejor modelo adoptado para el test de invariancia. Esta investigación aumenta nuestra comprensión de las propiedades transculturales del CEE, ya que la introducción del modelo bifactorial resultó con equivalencia métrica entre países, que anteriormente tenían sólo equivalencia métrica parcial. En el futuro, otros estudios posiblemente tratarán de crear más ítems sobre varios constructos del CEE. (AU)

Students' assessment of teaching practices for creativity in graduate programs / Avaliação de estudantes quanto a práticas docentes para criatividade na pós-graduação / Evaluación de estudiantes de prácticas docentes para la creatividad en el posgrado

O objetivo deste estudo foi investigar a avaliação de mestrandos e doutorandos a respeito da extensão em que professores de pós-graduação favorecem o desenvolvimento da criatividade em sala de aula. Participaram 371 estudantes de universidade pública e particular. Utilizou-se o Inventário de Práticas Docentes para Criatividade na Educação Superior, originalmente elaborado para alunos de graduação e adaptado ao contexto da pós-graduação. Buscou-se, ainda, obter evidências de validade interna desse instrumento, em termos de sua dimensionalidade. O Inventário mostrou-se válido para aferir uma dimensionalidade de três fatores: Geral, Incentivo a Novas Ideias e Interesse pela Aprendizagem do Aluno. O terceiro fator não apresentou grau de confiabilidade adequado. Os resultados indicaram uma avaliação positiva dos pós-graduandos acerca de seus professores, bem como diferenças significativas na avaliação de estudantes, considerando o tipo de instituição e estudante trabalhador ou não. (AU)

The purpose of this study was to investigate how master and doctoral students' assess the extension to which graduate education professors favor the development of creativity in the classroom. The participants were 371 students from public and private universities. It was used the Inventory of Teaching Practices for Creativity in Higher Education, originally prepared for undergraduate students and adapted to the graduate context. The study also aimed to obtain evidence of internal validity of this instrument. The Inventory was valid to measure a dimensionality of three factors: General, Encouragement of New Ideas, and Interest in Student Learning. The third factor did not present an appropriate level of reliability. The results indicated a positive evaluation of graduate students with respect to their professors, as well as significant differences regarding the students' evaluation considering type of institution and whether student works or not. (AU)

El objetivo de este estudio fue investigar la evaluación de maestrandos y doctorandos acerca de la extensión en que profesores de posgrado favorecen el desarrollo de la creatividad en el aula. Participaron 371 estudiantes, de universidad pública y privada. Se utilizó el Inventario de Prácticas Docentes para Creatividad en la Educación Superior, originalmente elaborado para alumnos de grado y adaptado para el contexto del posgrado. Se buscó, además, obtener evidencias de validez interna de dicho instrumento. El inventario se mostró válido para medir una dimensionalidad de tres factores: General, Incentivo a Nuevas Ideas e Interés por el Aprendizaje del Alumno. El tercer factor no presentó grado de fiabilidad adecuado. Los resultados indicaron una evaluación positiva de los estudiantes de posgrado con respecto a sus profesores, así como diferencias significativas en la evaluación de estudiantes considerando el tipo de institución y estudiante trabajador o no. (AU)

Prediction of arithmetic competence: role of cognitive abilities, socioeconomic variables and the perception of the teacher in Early Childhood Education / Predição da competência aritmética: papel das habilidades cognitivas, variáveis socioeconômicas e percepção do professor na Educação infantil / Predicción de la competencia aritmética: papel de las habilidades cognitivas, variables socioeconómicas y percepción del profesor en la Educación infantil

The study investigated, in a longitudinal cohort, predictive models of arithmetic competence (AC) in the 1st year from language and executive functions assessed at preschool age. A total of 71 children were evaluated in oral language skills, preliminary writing abilities and executive functions. In the 1st year, the children were also evaluated in AC. Parents provided information on the socioeconomic level and teachers indicated children with difficulties. Language, oral (phonological awareness and vocabulary) and preliminary writing (knowledge of letters, reading and writing of words) abilities, together with indications of difficulty by the teacher in the ECE, were able to explain a mean of 62% of the variability in AC in the 1st year. The findings reveal predictive variables for the performance in arithmetic in the initial stage of Elementary Education, which can assist in early identification and the design of preventive intervention models.

O estudo investigou, em um recorte longitudinal, modelos preditivos da competência aritmética (CA) no 1º ano a partir de habilidades de linguagem e funções executivas avaliadas em idade pré-escolar. Participaram 71 crianças que foram avaliadas em habilidades de linguagem oral, habilidades preliminares de escrita e funções executivas. No 1º ano, as crianças foram também avaliadas em CA. Pais proveram informações sobre nível socioeconômico e professores indicaram crianças com dificuldades no curso da EI. Habilidades de linguagem, oral (consciência fonológica e vocabulário) e preliminares de escrita (conhecimento de letras, leitura e escrita de palavras), juntamente com indicação de dificuldade pelo professor na EI, foram capazes de explicar média de 62% da variabilidade em CA no 1º ano. Os achados revelam variáveis preditoras do desempenho em aritmética em etapa inicial do Ensino Fundamental e estendem seu impacto para a identificação precoce e delineamento de modelos preventivos de intervenção.

El estudio investigó, en un recorte longitudinal, modelos predictivos de la competencia aritmética (CA) en el primer año a partir de habilidades de lenguaje y funciones ejecutivas evaluadas en edad preescolar. Participaron 71 niños que fueron evaluados en habilidades de lengua oral, habilidades preliminares de escritura y funciones ejecutivas. En el primer año, los niños también se evaluaron en CA. Los padres proporcionaron información sobre NSE y los profesores indicaron a los niños con dificultades en el curso de la EI. Las habilidades de lenguaje, oral (conciencia fonológica y vocabulario) y preliminares de escritura (conocimiento de letras, lectura y escritura de palabras), junto con indicación de dificultad por el profesor en la EI, fueron capaces de explicar media del 62% de la variabilidad en CA en 1er año. Los hallazgos revelan variables predictoras del desempeño en aritmética en etapa inicial de la Enseñanza Fundamental y expiden su impacto para la identificación precoz y delineamiento de modelos preventivos de intervención.

Program for the Neuropsychological Stimulation of Cognition in Students: Impact, Effectiveness, and Transfer Effects on Student Cognitive Performance.

Despite the crucial role played by the executive functions (EF) to cognitive, emotional, and social development of children before and during school years, little attention has been given to construct and analyze the efficacy of programs that intend to develop them. The program of neuropsychological stimulation of cognition in students: emphasis on EF, or PENcE (an acronym from its original name in Portuguese, Programa de Estimulação Neuropsicológica da Cognição em Escolares: ênfase nas Funções Executivas), is an early and preventive intervention program for school-aged children, and implemented at school three times a week for 5 months. The PENcE was structured in four modules, each focusing on a different executive component: organization and planning, inhibitory control, working memory, and cognitive flexibility. The objectives of this study were to verify the effectiveness of the PENcE among elementary school children and to investigate whether there are transfer effects to other executive, cognitive, and academic abilities. The sample consisted of 113 children attending 3rd or 4th grade at two public elementary schools. Eight classes participated in the study, divided into two groups: an experimental group (EG) (four classes; n = 64), which received the intervention, and a control group (CG) (four classes; n = 49), which continued their regular school activities. The EF and academic skills of both participant groups were evaluated before and after the intervention. The EG showed significantly greater improvements in inhibitory control, working memory, and abstract planning relative to the CG, with a small to medium effect size. There were transfer effects to other cognitive and academic abilities. These findings suggest the PENcE may be a useful method of improving EF and could benefit both school-aged children and education professionals.

Routine Psychological Testing of the Individual Is Not Valid.

In this article, we present and argue our assertion that current routine psychological testing of individuals is not valid. To support our assertion, we review the concept of ergodicity, Birkhoff's theorem, and Molenaar's manifesto, which together support our contention that the direct transposition of population estimations for producing inferences about the individual is not valid. We argue that this practice of direct transposition is the root cause of why routine psychological testing of individual is not valid. We then provide an example of a common application of psychological testing of an individual, explaining why this practice is not valid. Finally, we discuss how the intraindividual (or within-person) approach provides some prospect for valid individual testing and also introduces new challenges. We hope that our questioning of current psychological testing practices motivates researchers to propose and study novel methodological propositions to address the issues raised by our assertion.

The Structure of Intelligence in Childhood: Age and Socio-Familiar Impact on Cognitive Differentiation.

The Cattell-Horn-Carroll theory is the principal model at present to define and assess intelligence. However, several authors have suggested that the structure of intelligence is not stable throughout life. For example, children tend to present a general ability, which is invested in the development of specific and differentiated abilities during adolescence, reflecting the effect of schooling, experiences, and interests. In this study, an intelligence nine subtests battery was applied to a sample of 470 5-, 7-, and 9-year-old Portuguese children, from public and private basic schools. Two structure models have been tested, one assuming a global general factor loading by the nine subtests, and a second one formed by two factors integrating the verbal and non-verbal subtests. The results provide evidence of better fit of the second model where intelligence performance is organized in traditional verbal and non-verbal factors. This structure model is confirmed taking 5-, 7-, and 9-year-old children subgroups. A posterior path analysis verifies the impact of socio-familial variables in both factors. More than parents' educational levels and professional status, the results suggest the sibship size appears as more relevant on explanation of children cognitive performance.

Structural Validity of the School Aspirations Questionnaire (SAQ) / Validade Estrutural do Questionário de Aspirações Escolares

Abstract The self-determination theory claims that three basic needs (autonomy, relatedness, and competency) guide the human motivation. This theory serves as background for many psychological instruments. However, no one differentiates the students' occurrence perceptions and students' values about the basic needs. The School Aspirations Questionnaire has this goal, but its structural validity was not investigated yet. The present study evaluated the structural validity of the questionnaire. The sample was composed by 716 middle and high school students from a private school in Belo Horizonte, Brazil. A model was tested. This model possessed eight correlated latent variables representing, in terms of values and occurrence perceptions, the three basic needs and the immediate pleasure domain. The model showed good data fit, permitting the conclusion that the questionnaire is capable of distinguishing in the school context the values and the occurrence perceptions about the basic needs, as well the immediate pleasure domain.

Resumo A teoria da autodeterminação afirma que três necessidades básicas (autonomia, vínculo e competência) norteiam a motivação humana. Muitos instrumentos psicológicos têm como base esta teoria. No entanto, nenhum distingue as percepções de ocorrência das necessidades básicas, e o quanto estas necessidades são valorizadas. O Questionário de Aspirações Escolares foi criado com esse objetivo, mas carece de qualquer análise de sua validade estrutural. O presente estudo pretende realizar esta análise. Os dados analisados provêm de 716 estudantes, ensino fundamental II e médio, de uma escola privada de Belo Horizonte, Minas Gerais. Foi testado um modelo com oito variáveis latentes correlacionadas representando as necessidades básicas e o domínio do prazer imediato, em termos de percepção e valores. O modelo apresentou bom ajuste aos dados, possibilitando concluir que o questionário é capaz de distinguir, no contexto escolar, os valores e as percepções sobre as necessidades básicas e o domínio do prazer imediato

Dentists' perceptions of HIV/AIDS: psychometric properties of a first questionnaire for dentistry

Aim: The present study outlines the testing the first questionnaire to the field of dentistry to evaluate dentists' perceptions of HIV/AIDS, and its psychometric properties. Methods: A first questionnaire developed to evaluate dentists' perceptions of HIV/AIDS at this cross-sectional study contained 33 items in its original version. Randomly subsample of 251 Argentine dentists was invited to participate in the study. A four-factor structure (Transmission, Oral Manifestations, Dentists' practice, and Infection Controls) was tested through exploratory and confirmatory factor analysis, as well reliability was assessed. Results: The deletion of eight items from the original questionnaire improved the goodness of fit for the instrument. The retained 25 items revealed an acceptable reliability (internal consistency of 0.68), while the four factors revealed a Cronbach's alpha coefficient of 0.53 for Transmission factor items, 0.71 for Oral Manifestations factor items, 0.59 for Dentists' Practice factor items, and 0.48 for Infection Controls factor items. Higher scores were observed on the Oral Manifestations factor items, but convergent and discriminant validity was compromised for the others factors. Conclusions: The findings presented here demonstrate the value of this first questionnaire with 25 items as a starting point for further inquiry. However, it would be desirable to add more items and a replication of the questionnaire is suggested to determine the stability of its psychometric properties